Căștile care-ți pot urmări expresiile feței, chiar și când porți mască

Cercetătorii de la Universitatea Cornell au creat un sistem de căști care poate urmări expresiile faciale ale unui purtător chiar și atunci când poartă o mască.

C-Face poate monitoriza conturul obrazului și poate transforma expresia purtătorului într-un emoji. Acest lucru ar putea permite oamenilor, de exemplu, să-și transmită emoțiile în timpul apelurilor de grup fără a fi nevoie să pornească camera web.

„Acest dispozitiv este mai simplu și mai capabil decât oricare dintre tehnologiile purtabile montate pe urechi pentru urmărirea expresiilor faciale”, a declarat Cheng Zhang, directorul SciFi Lab al Cornell și autor principal al unei lucrări pe C-Face. „În tehnologia portabilă anterioară care urmărea să recunoască expresiile faciale, cele mai multe soluții necesare pentru a atașa senzori pe față și chiar cu atât de multe instrumente, puteau recunoaște doar un set limitat de expresii faciale discrete”.

Căștile folosesc două camere RGB care sunt poziționate sub fiecare ureche. Pot înregistra modificări ale conturului obrazului atunci când mușchii faciali ai purtătorului se mișcă.

Odată ce imaginile au fost reconstituite folosind viziunea computerizată și un model de învățare automată, o rețea neuronală convoluțională analizează imaginile 2D. Tehnologia le poate traduce în 42 de puncte ale caracteristicii faciale, reprezentând poziția și forma gurii, ochilor și sprâncenelor purtătorului.

C-Face poate traduce aceste expresii în opt emoji, inclusiv expresii care reprezintă fețe neutre sau supărate. Sistemul poate utiliza, de asemenea, indicii faciale pentru a controla opțiunile de redare pe o aplicație de muzică. Alte utilizări posibile includ utilizarea de avatare în jocuri sau alte setări virtuale care exprimă emoțiile reale ale unei persoane. Este posibil ca profesorii să poată urmări cât de implicați sunt elevii lor în timpul orelor la distanță.

Din cauza impactului COVID-19, cercetătorii au putut testa C-Face doar cu nouă participanți. Cu toate acestea, recunoașterea emoji a fost mai mare de 88%, iar indicii faciali mai mari de 85%. Cercetătorii au descoperit că capacitatea bateriei căștilor a limitat sistemul. Ca atare, ei intenționează să dezvolte o tehnologie de detectare cu mai puțină energie.